Consiste à entraîner des modèles informatiques à effectuer des tâches sans avoir été explicitement programmés pour les accomplir
Les modèles peuvent s’améliorer au fil du temps en apprenant à partir de données
Exemple : Traduction automatique Reconnaissance vocale…
Différence Stat / Machine learning
décrire et comprendre les phénomènes à partir de données
hypothetico-déductive (part d’hypothèses et utilise des tests statistiques pour les vérifier)
données souvent de taille limitée et structurées
modèles simples et faciles à comprendre
prédire les résultats futurs à partir de données passées
inductive (part de données et essaie de déduire les règles sous-jacentes)
peut être utilisé avec des données de grande taille et non structurées
modèles complexes et difficiles à interpréter (réseaux de neurones, arbres de décision)
Apprentissage supervisé
modèle est entraîné sur un jeu de données annotées
Le jeu de données contient des exemples d’entrée et de sortie souhaités
L’objectif: généraliser apprentissage à partir de ces exemples pour prédire la sortie correcte pour de nouvelles entrées
Apprentissage supervisé
\[\hat{y} = f(x, \theta)\]
où \(x\) est l’entrée, \(\theta\) sont les paramètres du modèle et \(\hat{y}\) est la valeur prédite par le modèle pour l’entrée \(x\).
Objectifs : Trouver les valeurs optimales de \(\theta\) qui minimisent l’erreur entre les valeurs prédites et valeurs réelles.
Fonction de coût avec optimisation
Apprentissage non supervisé
Apprentissage non supervisé
Découvrir une structure au sein d’un ensemble d’individus caractérisés par des covariables X
Label est inconnu
Apprentissage non supervisé
\[\hat{y} = f(x, \theta)\]
où \(x\) est l’entrée, \(\theta\) sont les paramètres du modèle et \(\hat{y}\) est la valeur prédite par le modèle pour l’entrée \(x\).
Objectifs : trouver des structures ou des patterns dans les données qui peuvent être utilisés pour effectuer des tâches utiles
Les paramètres du modèle sont mis à jour en utilisant une fonction de coût et une méthode d’optimisation afin de trouver des structures ou des patterns dans les données
Supervisé / Non supervisé
Supervisé / Non supervisé
Apprentissage Actif
Apprentissage par renforcement
Transfer learning
Entrainement d’un modèle
Exemple sur un regression linéaire :
\[Y=X\cdot\theta + \epsilon\]
Solution dans le cadre d’une régression linéaire
On cherche \(\hat{\theta} = \binom{\hat{a}}{\hat{b}}\) où \(\hat{y} = \hat{a}\cdot x+\hat{b}\) pour que \(\hat{y}\) soit le plus proche de \(y\)
Comment on fait pour entrainer :
On trace une ligne, on mesure la qualité de la ligne tracé, on modifie la ligne pour améliorer ça qualité et on répète
Les données sont fausses ?
Les données sont fausses ?
Fonctions de coût
Fonction a minimiser pour trouver la meilleure solution
racine carrée de l’erreur quadratique moyenne (MSE)
Erreur de classification
Utilisée pour les tâches de classification
Formule: \[Err_{class} = \frac{n_{erreurs}}{n}\]
Simple à calculer, mais ne prend pas en compte la probabilité des prédictions
Exemple sur données fictive
Exemple sur la régression lineaire
# Chargement des données d'entraînementtrain <-read.csv("train.csv")X_train <- train[,1] # variables explicativesy_train <- train[,2] # variable à prédire# Entraînement du modèle de régression linéairemodel <-lm(y_train ~ X_train)# Prédiction sur les données d'entraînementy_pred <-predict(model, X_train)# Calcul de l'erreur quadratique moyennemse <-mean((y_train - y_pred)^2)# Affichage de l'erreurprint(mse)
Exemple sur données
# Load the serialized R object from the specified filedata_tot <-readRDS("./TD_ML/data.rds")
Création d’un jeu d’entrainement
# Set the seed for the random number generator to the value 45set.seed(45)# Generate a random sample of 100 elements from the rows of the 'data_tot' data frame, without replacementsample_train <-sample(1:dim(data_tot)[1], 100, replace = F)# Subset the 'data_tot' data frame to select only the rows in the random sampledata <- data_tot[sample_train,]
Entrainement d’un modèle avec une variable
# Fit a linear regression model to the data with 'hospital_los_day' as the dependent variable and 'sapsi_first' as the independent variablefit1 <-lm(hospital_los_day ~ sapsi_first, data = data)# Print a summary of the fitted modelsummary(fit1)
Call:
lm(formula = hospital_los_day ~ sapsi_first, data = data)
Residuals:
Min 1Q Median 3Q Max
-8.354 -5.782 -2.486 2.186 53.259
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 8.0248 3.4826 2.304 0.0233 *
sapsi_first 0.1226 0.2234 0.549 0.5844
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 9.061 on 98 degrees of freedom
Multiple R-squared: 0.003063, Adjusted R-squared: -0.00711
F-statistic: 0.3011 on 1 and 98 DF, p-value: 0.5844
Calcul de la MSE
# Use the fitted model to make predictions on the datay_pred <-predict(fit1, data)# Calculate the mean squared error between the actual dependent variable values and the predicted valuesmse <-mean((data$hospital_los_day - y_pred)^2)print(mse)
[1] 80.46587
Modèle avec deux variable
## Add second variablefit2 <-lm(hospital_los_day ~ sapsi_first+age, data = data)#summary(fit2)y_pred2 <-predict(fit2, data)mse2 <-mean((data$hospital_los_day - y_pred2)^2)print(mse2)
Comment on fait pour entrainer :
On trace une ligne, on mesure la qualité de la ligne tracé, on modifie la ligne pour améliorer ça qualité et on répète